Chimerical dataset creation protocol based on Doddington Zoo : a biometric application with face, eye, and ECG.

Multimodal systems are a workaround to enhance the robustness and effectiveness of biometric systems. A proper multimodal dataset is of the utmost importance to build such systems. The literature presents some multimodal datasets, although, to the best of our knowledge, there are no previous studies combining face, iris/eye, and vital signals such as the Electrocardiogram (ECG). Moreover, there is no methodology to guide the construction and evaluation of a chimeric dataset. Taking that fact into account, we propose to create a chimeric dataset from three modalities in this work: ECG, eye, and face. Based on the Doddington Zoo criteria, we also propose a generic and systematic protocol imposing constraints for the creation of homogeneous chimeric individuals, which allow us to perform a fair and reproducible benchmark. Moreover, we have proposed a multimodal approach for these modalities based on state-of-the-art deep representations built by convolutional neural networks. We conduct the experiments in the open-world verification mode and on two different scenarios (intra-session and inter-session), using three modalities from two datasets: CYBHi (ECG) and FRGC (eye and face). Our multimodal approach achieves impressive decidability of 7.20 ? 0.18, yielding an almost perfect verification system (i.e., Equal Error Rate (EER) of 0.20% ? 0.06) on the intra-session scenario with unknown data. On the inter-session scenario, we achieve a decidability of 7.78 ? 0.78 and an EER of 0.06% ? 0.06. In summary, these figures represent a gain of over 28% in decidability and a reduction over 11% of the EER on the intra-session scenario for unknown data compared to the best-known unimodal approach. Besides, we achieve an improvement greater than 22% in decidability and an EER reduction over 6% in the inter-session scenario

Amélioration du contraste des images numériques par égalisation d'histogrammes

Nowadays devices are able to capture and process images from complex surveillance monitoring systems or from simple mobile phones. In certain applications, the time necessary to process the image is not as important as the quality of the processed images (e.g., medical imaging), but in other cases the quality can be sacrificed in favour of time. This thesis focuses on the latter case, and proposes two methodologies for fast image contrast enhancement methods. The proposed methods are based on histogram equalization (HE), and some for handling gray-level images and others for handling color images As far as HE methods for gray-level images are concerned, current methods tend to change the mean brightness of the image to the middle level of the gray-level range. This is not desirable in the case of image contrast enhancement for consumer electronics products, where preserving the input brightness of the image is required to avoid the generation of non-existing artifacts in the output image. To overcome this drawback, Bi-histogram equalization methods for both preserving the brightness and contrast enhancement have been proposed. Although these methods preserve the input brightness on the output image with a significant contrast enhancement, they may produce images which do not look as natural as the ones which have been input. In order to overcome this drawback, we propose a technique called Multi-HE, which consists of decomposing the input image into several sub-images, and then applying the classical HE process to each one of them. This methodology performs a less intensive image contrast enhancement, in a way that the output image presented looks more natural. We propose two discrepancy functions for image decomposition which lead to two new Multi-HE methods. A cost function is also used for automatically deciding in how many sub-images the input image will be decomposed on. Experimental results show that our methods are better in preserving the brightness and producing more natural looking images than the other HE methods. In order to deal with contrast enhancement in color images, we introduce a generic fast hue-preserving histogram equalization method based on the RGB color space, and two instances of the proposed generic method. The first instance uses R-red, G-green, and Bblue 1D histograms to estimate a RGB 3D histogram to be equalized, whereas the second instance uses RG, RB, and GB 2D histograms. Histogram equalization is performed using 7 Abstract 8 shift hue-preserving transformations, avoiding the appearance of unrealistic colors. Our methods have linear time and space complexities with respect to the image dimension, and do not require conversions between color spaces in order to perform image contrast enhancement. Objective assessments comparing our methods and others are performed using a contrast measure and color image quality measures, where the quality is established as a weighed function of the naturalness and colorfulness indexes. This is the first work to evaluate histogram equalization methods with a well-known database of 300 images (one dataset from the University of Berkeley) by using measures such as naturalness and colorfulness. Experimental results show that the value of the image contrast produced by our methods is in average 50% greater than the original image value, and still keeping the quality of the output images close to the originalAujourd’hui, des appareils capables de capter et de traiter les images peuvent être trouvés dans les systèmes complexes de surveillance ou de simples téléphones mobiles. Dans certaines applications, le temps nécessaire au traitement des images n’est pas aussi important que la qualité du traitement (par exemple, l’imagerie médicale). Par contre, dans d’autres cas, la qualité peut être sacrifiée au profit du facteur temps. Cette thèse se concentre sur ce dernier cas, et propose deux types de méthodes rapides pour l’amélioration du contraste d’image. Les méthodes proposées sont fondées sur l’égalisation d’histogramme (EH), et certaines s’adressent à des images en niveaux de gris, tandis que d’autres s’adressent à des images en couleur. En ce qui concerne les méthodes EH pour des images en niveaux de gris, les méthodes actuelles tendent à changer la luminosité moyenne de l’image de départ pour le niveau moyen de l´interval de niveaux de gris. Ce n’est pas souhaitable dans le cas de l’amélioration du contraste d’image pour les produits de l’électronique grand-public, où la préservation de la luminosité de l’image de départ est nécessaire pour éviter la production de distortions dans l’image de sortie. Pour éviter cet inconvénient, des méthodes de Biégalisation d’histogrammes pour préserver la luminosité et l’amélioration du contraste ont été proposées. Bien que ces méthodes préservent la luminosité de l’image de départ tout en améliorant fortement le contraste, elles peuvent produire des images qui ne donnent pas une impression visuelle aussi naturelle que les images de départ. Afin de corriger ce problème, nous proposons une technique appelée multi-EH, qui consiste à décomposer l’image en plusieurs sous-images, et à appliquer le procédé classique de EH à chacune d’entre elles. Bien que produisant une amélioration du contraste moins marquée, cette méthode produit une image de sortie d’une apparence plus naturelle. Nous proposons deux fonctions de décalage par découpage d’histogramme, permettant ainisi de concevoir deux nouvelle méthodes de multi-EH. Une fonction de coût est également utilisé pour déterminer automatiquement en combien de sous-images l’histogramme de l’image d’entrée sera décomposée. Les expériences montrent que nos méthodes sont meilleures pour la préservation de la luminosité et produisent des images plus naturelles que d´autres méthodes de EH. Pour améliorer le contraste dans les images en couleur, nous introduisons une méthode 5 Résumé 6 générique et rapide, qui préserve la teinte. L’égalisation d’histogramme est fondée sur l’espace couleur RGB, et nous proposons deux instantiations de la méthode générique. La première instantiation utilise des histogrammes 1D R-red, G-green, et B-bleu afin d’estimer l’histogramme 3D RGB qui doit être égalisé, alors que le deuxième instantiation utilise des histogrammes 2D RG, RB, et GB. L’égalisation d’histogramme est effectué en utilisant des transformations de décalage qui préservent la teinte, en évitant l’apparition de couleurs irréalistes. Nos méthodes ont des complexités de temps et d’espace linéaire, par rapport à la taille de l’image, et n’ont pas besoin de faire la conversion d’un espace couleur à l’autre afin de réaliser l’amélioration du contraste de l’image. Des évaluations objectives comparant nos méthodes et d’autres ont été effectuées au moyen d’une mesure de contraste et de couleur afin de mesurer la qualité de l’image, où la qualité est établie comme une fonction pondérée d’un indice de “naturalité” et d’un indice de couleur. Nous analysons 300 images extraites d’une base de données de l’Université de Berkeley. Les expériences ont montré que la valeur de contraste de l’image produite par nos méthodes est en moyenne de 50% supérieure à la valeur de contraste de l’image original, tout en conservant une qualité des images produites proche de celle des images originalesDispositivi per l’acquisizione e lo svolgimento di immagini si possono trovare nei complessi sistemi di monitoramento di sicurezza o nei semplici cellulari. In alcune applicazioni il tempo necessario per svolgere un’immagine non è cosi importante come la qualità delle immagini svolte (es. nelle immagini mediche), ma in alcuni casi la qualità dell’immagine potrà venire daneggiata a favore del tempo. Questa tesi è basata su quest’ultimo caso e propone due metodi efficienti per evidenziare il contrasto di colore delle immagini. I metodi proposti vengono basate sull’equalizazzione d’istogramma (EI), mirati su delle immagini grigie e sulle immagini colorate. I metodi basati sull’EI attualmente utilizzati per svolgere delle immagini grigie tendono a cambiare il brillo medio dell’immagine per il tono medio dell’intervallo grigio. Questo cambiamento non è desiderato nelle applicazioni mirate al miglioramento del contrasto sui prodotti elettronici utilizzati dal consumatore, dove preservare il brillo dell’immagine originale è necessario per evitare la comparsa di artefatti inesistenti nell’immagine d’uscita. Sono stati proposti dei metodi di biequalizazzione di istogrammi per corregere questo problema della preservazione del brillo e del contrasto di colore delle immagini. Nonostante questi metodi preservino il brillo dell’immagine originale con significante rilievo del contrasto nell’immagine svolta, questi possono produrre delle immagini che non sembrino naturali. Questo nuovo problema è stato risolto con una nuova tecnica detta Multiequalizazzione di istogrammi, che decompone l’immagine originale in varie sottoimmagini, applicando su ognuna di queste il metodo EI classico. Questa metodologia realizza un contrasto di rilievo meno intenso in modo che l’immagine svolta sembri più “naturale”. Questa tesi propone due nuove funzioni di discrepanza per la decomposizione delle immagini, originandone due nuovi metodi Multi-EI. Inoltre una funzione di costo viene utilizzata per determinare in quante sottoimmagini l’immagine originale verrà divisa. Attraverso paragone obiettivo e quantitativo, usando una misura di contrasto, gli esperimenti hanno convalidato che i metodi proposti sono migliori di quegli EI studiati perché quelli preservano il brillo e producono immagini con un’apparenza più naturale. Con riferimento ai metodi utilizzati per rilevare il contrasto nelle immagini colorate questa tese propone un metodo generico ed efficiente di EI, in base negli spazi di colori 11 Risumo 12 RGB, che preserva il tono (la sfumatura) e implementa due istanze di questo metodo generico. La prima istanza utilizza gli istogrammi 1D R-Red, G-green e B-blue per stimare un istogramma 3D RGB, che viene di seguito equalizzato. La seconda istanza invece utilizza gli istogrammi 2D RG, RB e GB. La EI viene eseguita utilizzando trasformate di trasloco che preservano il tono del colore, evitando così la comparsa di colori non reali. I metodi proposti hanno complessità lineare nello spazio e nel tempo rispetto alla grandezza dell’immagine e non usano nessuna conversione da un spazio di colore all’altro. Le immagini prodotte sono state valutate in modo obiettivo, paragonando i metodi proposti con gli altri studiati. La valutazione obiettiva è stata fatta utilizzando delle misure di contrasto e qualità del colore dell’immagine, dove la qualità è stata definita come una funzione ponderata degli indici di naturalità e colorito. Si analisarano un insieme di 300 immagini tratte dalla base dei dati dell’Università di Berkeley. Gli sperimenti mostrarono che il valore del contrasto delle immagini prodotte daí metodi proposti è mediamente 50% maggiore del valore del contrasto nell’immagine originale e una volta ancora la qualità delle immagini prodotte è vicina alla qualità dell’immagine originaleDispositivos para aquisição e processamento de imagens podem ser encontrados em sistemas complexos de monitoração de segurança ou simples aparelhos celulares. Em certas aplicações, o tempo necessário para processar uma imagem não é tão importante quanto a qualidade das imagens processadas (por exemplo, em imagens médicas), mas em alguns casos a qualidade da imagem pode ser sacrificada em favor do tempo. Essa tese se foca nesse último caso, e propõe duas metodologias eficientes para o realce de contraste de imagens. Os métodos propostos são baseados em equalização de histograma (EH), e focam em imagens em tons de cinza e em imagens coloridas. Os métodos baseados em EH atualmente utilizados para processar imagens em tons de cinza tendem a mudar o brilho médio da imagem para o tom médio do intervalo de tons de cinza. Essa mudança não é desejavél em aplicações que visam melhorar o contraste em produtos eletrônicos utilizados pelo consumidor, onde preservar o brilho da imagem original é necessário para evitar o aparecimento de artefatos não exitentes na imagem de saída. Para corrigir esse problema, métodos de bi-equalização de histogramas para preservação do brilho e contraste de imagens foram propostos. Embora esses métodos preservem o brilho da imagem original na imagem processada com um realce significante do contraste, eles podem produzir imagens que não parecem naturais. Esse novo problema foi resolvido por uma nova técnica chamada de Multi-Equalização de histogramas, que decompõe a imagem original em várias sub-imagens, e aplica o método de EH clássico em cada uma delas. Essa metodologia realiza um realce de contraste menos intenso, de forma que a imagem processada parece mais “natural”. Essa tese propõe duas novas funções de discrepância para decomposição de imagens, originando dois novos métodos de Multi-EH. Além disso, uma função de custo é utilizada para determinar em quantas sub-imagens a imagem original será dividida. Através da comparação objetiva e quantitative usando uma medida de constrate, os experimentos mostraram que os métodos propostos são melhores que outros EH estudados, uma vez que eles preservam o brilho e produzem imagens com uma aparência mais natural. Em relação aos métodos para realce de contraste em imagens coloridas, essa tese propõe um método genérico e eficiente de EH baseado no espaço de cores RGB que preserva o tom 9 Resumo 10 (a matiz), e implementa duas instâncias desse método genérico. A primeira instância utiliza os histogramas 1D R-red, G-green e B-blue para estimar um histograma 3D RGB, que é então equalizado. A segunda instância, por sua vez, utiliza os histogramas 2D RG, RB, e GB. A EH é executada utilizando transformadas de deslocamento que preservam a tonalidade da cor, evitando o aparecimento de cores não reais. Os métodos propostos tem complexidade linear no espaço e no tempo em relação ao tamanho da imagem, e não usam nenhuma conversão de um espaço de cores para outro. As imagens produzidas foram avaliadas objetivamente, comparando os métodos propostos com outros estudados. A avaliação objetiva foi feita utilizando medidas de contraste e de qualidade da cor da imagem, onde a qualidade foi definida como uma função ponderada dos índices de naturalidade e cromicidade. Um conjunto de 300 imagens extraídas da base de dados da Universidade de Berkeley foram analisadas. Os experimentos mostraram que o valor do contraste das imagens produzidas pelos métodos propostos é, em médias, 50% maior que o valor do contraste na imagem original, e ao mesmo tempo a qualidade das imagens produzidas é próxima a qualidade da imagem origina

Towards Automated Lymphoma Prognosis based on PET Images

electronic version (8 pp.) To appearInternational audienc

Fast Hue-Preserving Histogram Equalization Methods for Color Image Contrast Enhancement

International audienceIn this work, we present a generic fast hue-preserving histogram equalization method based on the RGB color space for image contrast enhancement and two instantiation of that generic process. The first method uses R-red, G-green, and B-blue 1D histograms to estimate a RGB 3D histogram to be equalized, whereas the second method uses RG, RB, and GB 2D histograms. The histogram equalization is performed using shift hue-preserving transformations, avoiding unrealistic colors. Our methods have linear time and space complexities with respect to the size of the image and do not need to apply conversions from a color space to another in order to perform the image enhancement. Such design complies with real-time applications requirements. An objective assessment comparing our methods and others is performed using a contrast measure and a color image quality measure, where the quality is established as a weighting of the naturalness and colorfulness indexes. We analyze 300 images from the dataset of the University of Berkeley. Experiments show that the value of the image contrast produced by our methods is in average 50% greater than the original image value, keeping the quality of the produced images close to the original one

Multi-histogram equalization methods for contrast enhancement and brightness preserving

International audienc

A Fast Hue-Preserving Histogram Equalization Method for Color Image Enhancement using a Bayesian Framework

International audienc

Inter-patient ECG heartbeat classification with temporal VCG optimized by PSO.

Classifying arrhythmias can be a tough task for a human being and automating this task is highly desirable. Nevertheless fully automatic arrhythmia classification through Electrocardiogram (ECG) signals is a challenging task when the inter-patient paradigm is considered. For the inter-patient paradigm, classifiers are evaluated on signals of unknown subjects, resembling the real world scenario. In this work, we explore a novel ECG representation based on vectorcardiogram (VCG), called temporal vectorcardiogram (TVCG), along with a complex network for feature extraction. We also fine-tune the SVM classifier and perform feature selection with a particle swarm optimization (PSO) algorithm. Results for the inter-patient paradigm show that the proposed method achieves the results comparable to state-of-the-art in MIT-BIH database (53% of Positive predictive (+P) for the Supraventricular ectopic beat (S) class and 87.3% of Sensitivity (Se) for the Ventricular ectopic beat (V) class) that TVCG is a richer representation of the heartbeat and that it could be useful for problems involving the cardiac signal and pattern recognition

Deep periocular representation aiming video surveillance.

Usually, in the deep learning community, it is claimed that generalized representations that yielding out- standing performance / effectiveness require a huge amount of data for learning, which directly affect biometric applications. However, recent works combining transfer learning from other domains have sur- mounted such data application constraints designing interesting and promising deep learning approaches in diverse scenarios where data is not so abundant. In this direction, a biometric system for the peri- ocular region based on deep learning approach is designed and applied on two non-cooperative ocular databases. Impressive representation discrimination is achieved with transfer learning from the facial do- main (a deep convolutional network, called VGG) and fine tuning in the specific periocular region domain. With this design, our proposal surmounts previous state-of-the-art results on NICE (mean decidability of 3.47 against 2.57) and MobBio (equal error rate of 5.42% against 8.73%) competition databases

Brazilian license plate detection using histogram of oriented gradients and sliding windows.

Due to the increasingly need for automatic traffic monitoring, vehicle license plate detection is of high interest to perform automatic toll collection, traffic law enforcement, parking lot access control, among others. In this paper, a sliding window approach based on Histogram of Oriented Gradients (HOG) features is used for Brazilian license plate detection. This approach consists in scanning the whole image in a multiscale fashion such that the license plate is located precisely. The main contribution of this work consists in a deep study of the best setup for HOG descriptors on the detection of Brazilian license plates, in which HOG have never been applied before. We also demonstrate the reliability of this method ensured by a recall higher than 98% (with a precision higher than 78%) in a publicly available data set